喜讯 | 理工学院本科生陈昕宇一作论文被JCR一区期刊《Nanomaterials》接收

近日，香港中文大学（深圳）理工学院电子与计算机工程专业（*原电子与信息工程）本科生陈昕宇为第一作者的论文被JCR一区期刊《Nanomaterials》接收。本篇论文以基于自注意力的深度学习transformer模型为工具，对新一代微纳半导体激光器芯片进行了高效、准确的表征和模拟，为下一代大数据+AI辅助的EDA光电设计软件提供了新的思路，有助于我国打破西方国家对芯片设计软件常年的垄断局势。

即将见刊在Nanomaterials上的论文题为《POViT: Vision Transformer for Multi-objective Design and Characterization of Photonic Crystal Nanocavities》，第一作者是陈昕宇，指导教授为理工学院的张昭宇教授、数据科学学院的张寅教授以及数据科学学院/深圳市大数据研究院的李文烨教授。

期刊简介

Nanomaterials (ISSN 2079-4991) 是一本国际性和跨学科的学术开放获取期刊，由MDPI于2010年创立，当前分别被列为JCR一区（Physics, Applied）和CiteScore 一区（General Chemical Engineering），影响因子为5.7，主编为UC Davis的Shirley Chiang教授。它发表涉及纳米材料的任何研究领域相关的综述、研究论文、通讯和简短说明。期刊将接受理论和实验文章，以及涉及纳米材料合成和应用的文章。投稿的论文必须为研究文章提供完整的实验或有条理的细节。Nanomaterials致力于追求高科学标准。所有手稿都经过严格的审查程序，审稿决定是基于独立审稿人的建议。纳米材料是在较低纳米尺寸范围内具有典型尺寸特征和特征介观性质的材料：例如量子效应和太赫兹通信。Nanomaterials被Scopus, SCIE (Web of Science), PubMed, PMC, CAPlus/SciFinder, Inspec, and other databases等国外数据库收录。

论文简介

图1 POViT模型的架构图。架构核心为自注意力ViT深度神经网络。输入是PC纳米激光转换成的图像，而输出是编码后预测的Q和V。

图2 POViT的学习曲线和训练结果。左边的四个图（a：预测误差，b：MSE，e和f：相关系数）是针对Q，而右边的四个图是针对V。

传统的设计纳米级激光器的方法通常耗时且效率低下，因为所有物理参数都是通过COMSOL和Lumerical等仿真工具进行人为手动调整，并且其应用的有限差分时域（FDTD）或有限元分析（FEA）方法具有高度计算密集的缺点。像CNN和MLP这样的传统DL模型在设计高度复杂的物理系统时似乎面临着难以克服的性能瓶颈。例如，通过调整DNN的超参数或仅采用基于梯度的优化算法来增加预测结果的相关系数仍然相当困难。这就是为什么Transformer，作为一种基于自注意力机制的最新DL模型，已成为深度学习领域中的颠覆性替代方案。凭借近些年Transformer在各种工程应用中的出色表现，它在光电设计方面的应用也大有前景。根据我们的调研，本文是全球范围内现存第一个应用自注意力Transformer模型到光电设计领域的论文。在本文中，将会展示包括原始的Vision Transformer(ViT)、后来的卷积Vision Transformer(CvT)和我们自己提出的独特ViT版本应用于光子晶体（PC）纳米腔的设计和表征。PC（图2）是下一代硅光集成光路(PIC) 和激光雷达中使用的高性能纳米级半导体激光器的核心组件。本文中，我们将提出的自注意力深度学习模型命名为POViT：PhOtonics Vision Transformer（图1）。

我们发现CNN得到的测试系数分别计算为Qcoeff=98.7%和Vcoeff=80.5%。从图2我们可以看到POViT模型中的最佳测试系数是Qcoeff=99.4%和Vcoeff=92.0%，其中Vcoeff值比CNN模型得到的最佳结果高出11.5%之多。本论文所提出的POViT的优势体现在模型的预测精度、收敛速度和相关系数线性度上（见图2）。自注意力机制的引入以被证明可超越传统的CNN，而后者曾经是计算机视觉领域的最常用结构。此外，POViT的收敛速度很快，MSE损失仅在100个epoch内就下降到了一个极其低的水平，然后保持在稳定状态。基于自注意力的POViT的高相关系数，意味着其对噪声干扰具有良好的鲁棒性。

我们的工作为将ViT应用于纳米光子器件的快速多目标表征和优化铺平道路，而且无需大量的人工干预或反复的试验。我们的方法从人工智能和电子设计自动化（EDA）结合中得到启发，当然这也是一个学术界和工业界广泛研究的领域。我们的主要目标是通过我们的努力来推动全自动光子设计的兴起，因为光子设计自动化（PDA）的当前发展仍然处于非常初步的阶段。在本论文中，多目标意味着能够预测、编码多个光子/电磁特性，在我们的例子中即是Q和V。

学生感想

 理工学院2019级本科生陈昕宇

为了满足本硕联合培养的申请要求，我在大三学年进行了毕业设计。我的研究兴趣是芯片设计，所以最终选择了张教授组光芯片相关的课题。李任杰学长给我提供了Vision Transformer改进网络结构的大方向和CNN模型的代码便于我理解。作为深度学习方面的新手，我系统地阅读了《动手学深度学习》这本书才开始了改进工作。起初我自己编写的Vision Transformer架构表现一般，后来在两位学长的协助下才发现自己有些细节理解错了导致性能大打折扣。修改后的版本在测试系数上显著超越传统CNN，MLP网络。后期经过不断优化调整超参数，并将Transformer中的激活层GELU替换成了ABS才达到了目前的效果。比较遗憾的地方是没有成功实现对输入图像的自注意力热力图表征，否则还能进一步指导光子晶体中哪些位置的微腔会对品质因数Q和模态体积V有更大的影响。

参与这个课题时我没有预料到文章最后可以投稿。文章的成功发表除了我个人的投入以外也要归功于两位学长（李任杰、俞跃耀）和几位指导教授在此期间的细心辅导。十分感谢他们对我毕业设计的支持，没有他们的帮助我也无法顺利的完成DNN模型改进工作。

指导教授点评

 理工学院张昭宇教授

首先由衷地祝贺陈昕宇同学作为第一作者发表在Nanomaterials上的运用transformer模型设计光芯片的论文。这是他第一篇科研论文，也开启了他盼望已久的学术旅程。陈昕宇同学在这个项目中付出了很大的努力和思绪：从早期的文献调研到DNN模型设计、从代码编写到最终的数据分析。同时，陈同学在论文写作上也下了很大的功夫，在实验室几位博士生的辅助下，他很大程度上自主地完成了这篇文章的撰写和图表的制作。他充分展现了我校本科生的自主科研和动手能力，以及对学术研究的热爱和追求，为其他有同样抱负的学生做出了很好的榜样。陈昕宇同学在论文投稿之后便去了新加坡进行交换学习，我祝愿他在那边学有所成、开阔眼界、早日归国实现自己的理想！最后，我想感谢SDS的张寅教授和SRIBD的李文烨教授对这篇文章的共同指导，两位老师帮助几位学生对这个工作有了更加深入的逻辑思考和缜密的数学推导。

数据科学学院/SRIBD李文烨教授

祝贺陈昕宇同学，在李任杰和俞跃耀两位博士生的支持下，将新近的人工智能技术应用于经典的芯片设计问题，获得了新的结果。几位同学的学术背景不同，但通过紧密合作各自取长，成功地完成了这项工作。我们学校有很多优秀的本科生，从二年级开始进入实验室，接触前沿、参与创新，同时锻炼了独立工作的能力，为将来的发展打下了良好的基础。张昭宇教授的实验室，是我们学校最早获得政府批准的重点实验室之一，在科研和人才培养上做出了卓有成效的工作。借助这次与张教授课题组的合作契机，我希望能够共同将理论落地，推动人工智能和半导体芯片技术的发展和应用。

-END-

排版 | 卢梓涵（2022级理工学院 逸夫书院）

审核 | SSE Office

点击以下链接，进入理工时刻：

科研速递 | 理工学院林天麟教授团队在IEEE Transactions on Robotics上发表文章

博文约礼 · 勤学善思｜EMSc-SCLM 2020级毕业啦！

喜讯 | 理工学院周艳教授荣获2021年度青年科研奖